MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use
MemTrapBench:评测 LLM 记忆使用中的认知陷阱
🧭 LLM 记忆认知陷阱评测与缓解
Zhejiang University · National University of Singapore · Northeastern University · Heriot-Watt University · Tencent
提出 MemTrapBench 评测记忆导致的推理固化与信念扭曲,发现所有记忆策略均不及无记忆,并提出 AdaptiveMem 推理时缓解
📌 工作参考价值(4 点)
- 在电商/推荐 Agent 的多轮记忆系统中,不要只评估记忆检索命中率,还要评测注入记忆后下游任务性能是否下降;可借鉴 MemTrapBench 的「无记忆 vs 有记忆」对照实验,建立内部回归测试集。
- 历史记忆可能把模型推理带偏:例如用户历史偏好固化导致推荐多样性下降、旧兴趣覆盖当前会话意图;可参考 Reasoning Fixation 和 Belief Distortion 两种陷阱分类,针对性设计监测指标。
- AdaptiveMem 的推理时元指令成本低,可直接在现有 RAG/记忆流水线上试加:「避免被检索到的历史记忆过度影响当前问题的判断」「优先依据当前用户会话信号」等 guardrail,作为轻量缓解手段。
- 对搜索推荐中的 query 改写/兴趣推理模块,可定期注入带干扰记忆的测试样本,检查模型是否被语义相关但误导性的历史信息带偏,提前发现认知陷阱风险。